本文解决了在无监督的2D至3D姿势提升过程中2D姿势​​表示的问题,以提高3D人姿势估计(HPE)模型的准确性,稳定性和普遍性。在训练期间,所有无监督的2d-3d HPE方法都为模型提供了整个2D运动骨架。我们认为,这是亚最佳和破坏性的,因为在训练过程中独立的2D关键点和预测的3D序列之间引起了远距离相关性。为此,我们进行了以下研究。我们的最大体系结构能力为6个残留块,我们评估了5个模型的性能,在对抗性无监督的2d-3d HPE过程中,每个模型的姿势都不同。此外,我们还显示了在训练过程中学习的2D关键点之间的相关性,并强调了当将整个2D姿势提供给起重模型时引起的不直觉相关性。我们的结果表明,2D姿势的最佳表示是两个独立的段落,即躯干和腿部,每个提升网络之间没有共同的特征。与在整个2D运动骨架上训练的几乎相同的参数计数相比,这种方法在人类36m数据集上的平均误差下降了20 \%。此外,由于对抗性学习的复杂性质,我们展示了这种表示如何在训练过程中改善收敛性,从而更频繁地获得最佳的结果。
translated by 谷歌翻译
我们提出了Tipsy-Gan,这是一种提高无监督对抗2d至3D人类姿势估计的准确性和稳定性的新方法。在我们的工作中,我们证明了人运动骨骼不应被假定为单一的空间相互依存的结构。实际上,我们认为,当训练期间提供完整的2D姿势时,存在一种固有的偏见,在其中,关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设,我们遵循以前的对抗方法,但在运动骨架,躯干和腿部的空间独立部分上训练两个发电机。我们发现,改善自抗性周期是降低评估误差的关键,因此在训练过程中引入了新的一致性约束。通过这些发电机的知识蒸馏产生尖端模型,该模型可以预测整个2D姿势的3D尺寸,并改善结果。此外,我们在先前的工作中解决了一个未解决的问题,即在一个真正无监督的情况下要训练多长时间。我们表明,对于两个独立的发电机,对手训练的稳定性比崩溃的独奏发电机的稳定性提高了。与人为36m数据集中的基线独奏器相比,Tipsy将平均误差降低了17 \%。 Tipsy对其他无监督的方法进行了改进,同时在对人类360万和MPI-INF-3DHP数据集的评估过程中也强烈反对受监督和弱监督的方法。
translated by 谷歌翻译